Ｅｘｉｆにおける被写体の座標

专利摘要:
撮像装置は、光学情報を登録し、当該光学情報を、当該光学情報に係る明暗度情報を有する生の画像データに変換するセンシングユニットと、生の画像データをデジタル画像情報に変換する処理ユニットを備えることができ、処理ユニットは、当該変換されたデジタル画像情報内の１以上の被写体を識別し、当該識別された１以上の被写体に関する座標をメタデータとして格納するように構成される。
公开号:JP2011510533A
申请号:JP2010541037
申请日:2008-07-01
公开日:2011-03-31
发明作者:ペテル ニルソン，
申请人:ソニー エリクソン モバイル コミュニケーションズ， エービー；
IPC主号:H04N5-91

专利说明:

[0001] 本発明は概して画像処理の分野に関し、特には、撮像された画像にデータを付加することに関する。]
背景技術

[0002] 近年、デジタル画像の撮像は一般の人々にとって非常に人気があるものとなってきている。ウェブサイト上のユーザが、デジタル画像を含む様々な形式の情報を互いに共有することが可能な所謂インターネットコミュニティの導入もまた、デジタル画像の撮像の人気の一端を担っている。]
[0003] デジタル画像撮影はさらに、比較的簡単な画像処理、及びデジタル画像ファイルに所謂メタデータを追加することが可能であること等、多くの他の利点を有する。]
[0004] メタデータの最良の説明は、撮像された画像に関連する付加情報である。メタデータの１つの既知な例は、所謂ＥＸＩＦ（Exchangeable image format）情報であり、ＥＸＩＦ情報は、とりわけ、カメラの機種、デジタル画像が撮像された際の、露出量及びシャッタスピード、及びレンズ絞りを提示する。]
[0005] 近年、ユーザがデジタル画像を共有できるインターネットコミュニティのいくつかでは、デジタル画像内の人間の顔の手動識別のような機能が利用できるようになってきている。しかしながら手動識別は、特に一連の非常に多くの画像をマーキングしなければならない場合に面倒である。]
[0006] 人間の顔の手動識別は、スライドショー中に、画像の手動識別されたエリアへの拡大を実行するソフトウェアアプリケーションを用いてデジタル画像のスライドショーを構築する際に、特に面倒となる。]
[0007] それ故に、本発明の実施形態は、このような技術に関連する少なくともいくつかの不都合を取り除く。]
課題を解決するための手段

[0008] 第１の側面において、撮像装置は、光学情報を登録し、当該光学情報を、当該光学情報に係る明暗度情報を含んだ生の画像データに変換するセンシングユニットと、生の画像データをデジタル画像情報に変換し、当該変換されたデジタル画像情報内の１以上の被写体を識別し、当該識別された１以上の被写体に関する座標をメタデータとして格納する処理ユニットと、を備えることを特徴とする。]
[0009] 第２の側面において、第１の側面に係る撮像装置は、変換されたデジタル画像情報と識別された１以上の被写体に関する座標を表すメタデータとを格納するメモリをさらに備えることを特徴とする。]
[0010] 第３の側面において、第１または第２の側面に係る撮像装置は、処理ユニットが、変換されたデジタル画像情報の少なくとも一部と、既知の被写体の所定のセットとを比較することにより、変換されたデジタル画像情報内の１以上の被写体を識別するように構成されることを特徴とする。]
[0011] 第４の側面において、第１または第２の側面に係る撮像装置は、処理ユニットが、メタデータをデジタル画像情報とは別に格納するように構成されることを特徴とする。]
[0012] 第５の側面において、第１または第２の側面に係る撮像装置は、処理ユニットが、メタデータをデジタル画像情報とともに格納するように構成されることを特徴とする。]
[0013] 第６の側面において、第１乃至第５のいずれか１つの側面に係る撮像装置は、処理ユニットが、デジタル画像情報内の識別された１以上の被写体を、１以上の幾何学的形状により囲われるように構成されることを特徴とする。]
[0014] 第７の側面において、第１乃至第６のいずれか１つの側面に係る撮像装置は、識別された１以上の被写体に関する座標が、デジタル画像情報の幾何学的形状の座標を含むことを特徴とする。]
[0015] 第８の側面において、第１乃至第７のいずれか１つの側面に係る撮像装置は、メタデータが、デジタル画像情報内の識別された１以上の被写体を囲う１以上の幾何学的形状の座標と、デジタル画像情報内の識別された被写体のタイプと、を含むことを特徴とする。]
[0016] 第９の側面において、第１乃至第８のいずれか１つの側面に係る撮像装置は、デジタル画像情報内の識別された１以上の被写体を囲う幾何学的形状を定義するためのユーザインタフェースをさらに備えることを特徴とする。]
[0017] 第１０の側面において、第１乃至第９のいずれか１つの側面に係る撮像装置は、センシングユニットが、ＣＭＯＳ（相補型金属酸化物半導体）センサ、ＣＣＤ（電化結合素子）センサ、及びＣＩＤセンサ（コンタクトイメージセンサ）のいずれか１つを備えることを特徴とする。]
[0018] 第１１の側面において、第１乃至第１０のいずれか１つの側面に係る撮像装置は、メモリが、内部メモリ及び外部メモリの少なくともいずれかを備えることを特徴とする。]
[0019] 第１２の側面において、第１乃至第１１のいずれか１つの側面に係る撮像装置は、処理ユニットが、メタデータ及びデジタル画像情報を外部メモリに記憶する前に、内部メモリにデジタル画像情報を格納するように構成されていることを特徴とする。]
[0020] 第１３の側面において、第１乃至第１２のいずれか１つの側面に係る撮像装置は、処理ユニットが、デジタル画像情報内の１以上の被写体の識別の前に、デジタル画像情報を圧縮するように構成されていることを特徴とする。]
[0021] 第１４の側面において、第１乃至第１３のいずれか１つの側面に係る撮像装置は、メタデータ及びデジタル画像情報を、無線通信ネットワーク上の端末またはノードに転送するように構成された送受信機をさらに備えることを特徴とする。]
[0022] 第１５の側面において、画像の撮像及び処理の方法は、光学情報を登録して、当該光学情報を、当該光学情報に係る明暗度情報を含んだ生の画像データに変換する工程と、生の画像データをデジタル画像情報に変換する工程と、デジタル画像情報内の１以上の被写体を識別する工程と、１以上の識別された被写体に関する座標をメタデータとして格納する工程と、を備えることを特徴とする。]
[0023] 第１６の側面において、第１５の側面に係る画像の撮像及び処理の方法は、デジタル画像情報内の１以上の被写体を識別する工程が、次の光学情報がセンシングユニットにより登録される間に実行されることを特徴とする。]
[0024] 第１７の側面において、第１５の側面に係る画像の撮像及び処理の方法は、デジタル画像情報内の１以上の被写体を識別する工程が、光学情報が登録中でない場合に実行されることを特徴とする。]
図面の簡単な説明

[0025] 本発明の一実施形態に係る撮像装置を示した図。
本発明に係る例示的な撮像装置を用いて取得及び処理されたデジタル画像を示した図。
本発明の一実施形態に係るデジタル画像を処理するための方法の例示的なステップを示した図。]
実施例

[0026] 図１は、本発明の一実施形態に係る撮像装置１００を示している。] 図１
[0027] 図１の例において、撮像装置１００は、光学ユニット１２０、センシングユニット１３０、ユーザインタフェース１４０、処理ユニット１５０、及びメモリ１６０を含んでもよい。撮像装置１００は、送受信機１１０をさらに含んでもよい。] 図１
[0028] 光学ユニット１２０を例えばレンズとして用いて、センシングユニット１３０は光学ユニット１２０の視野内の固定又は移動被写体の画像を登録または撮像（例えば記録）する。また、異なる形式の光学ユニット１２０を用いることにより、異なる視野が撮像されてもよい。また光学ユニット１２０は、焦点距離が固定または可変なレンズ及び、長い露光時間や露光中のカメラの小さな動きによる画像のぶれを防止する振動抑制機構を含んでもよい。しかしながら、このような光学ユニットは当業者に公知であるため、本明細書において当該光学ユニットの機能の詳細をこれ以上説明しない。]
[0029] ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、ＣＣＤ（Charge-Coupled Device）センサ、ＣＩＤセンサ（Contact Image Sensor）を用いる撮像ユニット、またはその他のタイプの撮像ユニットを含んでもよいセンシングユニット１３０は、例えば光学ユニット１２０を通じて見ることができるアナログ光学像を登録するように構成されており、当該アナログ光学像を、色情報とともに明暗度に基づいたデジタル画像を含んだ生の画像データに変換する。しかしながらセンシングユニット１３０により得られた生のデジタル画像データは、「本物の」デジタル画像ではない。]
[0030] 処理ユニット１５０を用いて、生のデジタル画像データは、ＪＰＧ（Joint Picture Group）形式、ＪＦＩＦ（JPEG File Interchange Format）形式、ＰＮＧ（Portable Network Graphics）形式、ＧＩＦ（Graphics Interchange Format）形式やその他のデジタル画像フォーマットの形式のデジタル画像に変換されてもよい。例えば処理ユニット１５０は、デジタル画像内の１以上の所定の被写体を発見するために、変換された画像に対して被写体認識アルゴリズムを実行するように構成されてもよい。これは複雑で時間を要する処理となり得るため、センシングユニット１３０が他の画像データを撮像している間にバックグラウンドで実行することが最良であるかもしれない。また画像処理の複雑性及び困難性は、センシングユニット１３０の解像度にも関係する。解像度が大きいほど、処理ユニット１５０により処理すべき画像データの量が大きくなるであろう。バックグラウンド動作はまた、撮像装置１００が他の画像を撮像できるようになるまでに要する時間を減らすかもしれない。しかしながら処理ユニット１５０は、センシングユニット１３０から生の画像データを受信して、当該データを例えばデジタル画像ファイルに変換した後すぐに、被写体認識アルゴリズムを実行するように構成されてもよい。デジタル画像内の被写体を認識するための被写体認識アルゴリズムは当業者に公知であるため、ここではこれ以上説明しない。公知のアルゴリズムは、ＰＣＡ（Principal Component Analysis）、ＩＣＡ（Independent Component Analysis）、ＬＤＡ（Linear Discriminant Analysis）、ＥＰ（Evolutionary Pursuit）、ＥＢＧＭ（Elastic Bunch Graph Matching）、所謂カーネル法、顔変形や、画像内の被写体認識のための他の公知のアルゴリズムを含んでよい。]
[0031] しかしながら１つの例において、処理ユニットは、撮像装置１００のメモリ１６０に格納された所定の被写体に基づいて、被写体認識アルゴリズムを実行してもよい。これらの被写体は、例えば人間の顔、動物、ボールやバット等のゲームをするための様々な被写体、教会や車等の注目被写体、さらには道路やランドマーク等を含んでもよい。本明細書を読む当業者は、画像内での識別したいかもしれない他の被写体を意図してもよい。]
[0032] デジタル画像内の認識に適している被写体に加えて、処理ユニット１５０は、認識された被写体を実質的に囲む任意の、規則的な又は不規則な形状のエリアをマーキングし、マーキングされたエリアの座標を、メタデータとして撮像装置１００のメモリ１６０に格納するように構成されてもよい。座標は、例えば撮像された画像または画像データ（例えば画像フレーム）に係る任意の基準に相対的な任意の位置体系（例えばデカルト座標）を含んでもよい。]
[0033] しかしながら、形状を明確にするために必要とされる座標の数は、形状に応じて大幅に変化しうるので、正方形、長方形、三角形や他の規則的な形状のようないくつかの形状は、他の形状よりも、処理されたデジタル画像において被写体をマーキングするためにより適しているかもしれない。]
[0034] 処理ユニット１５０は例えば、形状座標を含むメタデータを、メモリ１６０内の処理済みのデジタル画像ファイルとは別に保存するか、処理済みのデジタル画像に付加するように構成されてよい。]
[0035] メモリ１６０は、内部メモリ、外部メモリまたはその両方であってよい。撮像装置１００に内部及び外部メモリを持たせることで、処理ユニット１５０がまず、センシングユニット１３０から出力された生の画像データを、一般的に処理速度の速い内部メモリに変換し、処理されて変換されたデジタル画像ファイルとメタデータが一般的に処理速度の遅い外部メモリに格納される前に、変換された画像データに対して被写体認識アルゴリズムを実行することを可能にする付随的な利点をもたらすかもしれない。]
[0036] 同様に、上述した動作のいくつかは、センシングユニット１３０が他の画像を撮像している間に行われてもよい。]
[0037] 処理された画像ファイルにおける被写体の位置を示す情報を含むメタデータを用いることにより、例えば検索クエリへの入力を利用して、ユーザが１以上の被写体を含む格納されたデジタル画像を明示的に検索できる、検索可能なデータベースが作られてもよい。破線で示すように、撮像装置１００は無線通信ネットワークで通信するための受信機／送信機の組み合わせ１１０を含んでもよい。受信機／送信機の組み合わせ１１０が利用可能なことの利点は、例えば、処理されたデジタル画像データと、デジタル画像に含まれる注目被写体の指標を含むメタデータとを、無線通信ネットワークのサーバユニット（図示せず）に送信するオプションであるかもしれない。いくつかの実施形態によれば、そのように処理されてメタタグが付された１以上のデジタル画像ファイルは、被写体を検索し、当該被写体を含むデジタル画像を表示するオプションを提供する画像検索サービスによって、すぐに検索可能となるかもしれない。]
[0038] また、受信機／送信機の組み合わせ１１０を使用することにより、処理されてメタタグが付されたデジタル画像は、無線通信ネットワークにおいて他のユーザと共有されてもよい。]
[0039] 図２は、図１の撮像装置１００のような撮像装置により撮像された、デジタル画像２００を示している。デジタル画像２００は、生の画像データから視認可能な（また、場合により圧縮された）デジタル画像フォーマットに変換され、そして被写体認識アルゴリズムにより処理された後に得られたデジタル画像データであるものとする。] 図１ 図２
[0040] 人間の顔、動物、ボールやバット等のゲームをするための被写体、教会、道路などの注目被写体等の所定の注目被写体のリストを用い、それらをデジタル画像内で発見された被写体と比較することにより、図１の処理ユニット１５０のような処理ユニットは、被写体認識アルゴリズムを用いてデジタル画像内の被写体を発見することができる。処理ユニットは、上述されたように、これらの被写体をマーキングしてよい。] 図１
[0041] デジタル画像内の認識された被写体のマーキングの１例を、注目被写体を囲う正方形及び矩形を用いて図２に示す。これらの幾何学的形状を用いることにより、例えば、僅かな数の座標により、これら幾何学的形状を定義し、メタデータとして格納することが可能になる。図示された例では、処理ユニットは教会２１０、ボール２２０、犬２３０及び３つの人間の顔２４０、２５０及び２６０を認識している。] 図２
[0042] 処理ユニット１５０のような撮像装置の処理ユニットは、認識された被写体のタイプを特徴付ける識別子コードを、被写体をマーキング（例えば線引き）する、例えば正方形や矩形の形状の座標とともに格納するように構成されてもよい。処理されたデジタル画像ファイル及び関連付けされたメタデータを含むデータベースにおいて、これらの被写体の検索は簡単に実行されることが可能である。]
[0043] 図３は、本発明にかかる実施形態の方法の例示的なステップを示している。] 図３
[0044] ステップ３００において、撮像装置１００のような撮像装置は、撮像された現実世界の情報から、明暗度情報を示す生の画像データを、撮像ユニットを用いて取得してもよい。また明暗度情報は、赤、緑及び青（所謂ＲＧＢ形式）のような、いくつかのカラーチャネルに分割されてもよい。]
[0045] その後ステップ３１０において、撮像装置１００の処理ユニット１５０のような処理ユニットは、撮像装置１００から生の画像データを受信し、生の画像データに画像処理を実行してもよい。]
[0046] １つの例では、この画像処理は、ＪＰＧ、ＪＦＩＦ、ＧＩＦ、ＰＮＧ等の圧縮デジタル画像フォーマット、またはＢＭＰ（bitmap）、ＴＩＦＦ（Tagged Image File Format）や他の画像フォーマット等の非圧縮画像フォーマットへの変換を含んでもよい。]
[0047] その後、処理ユニット１５０はデジタル画像において被写体を発見するために、変換された生の画像データに被写体認識アルゴリズムを実行してもよい。]
[0048] 例えば、既に述べたように、処理ユニット１５０は変換された画像において予想される被写体を識別することにより、被写体認識を実行し、そして識別された予想される被写体と、撮像装置１００のメモリ１６０のようなメモリに格納された所定の被写体のリストとを比較してもよい。このような所定の被写体は、例えばユーザにより選択または定義されたような、人間の顔、動物、ボールやバット等のゲームをするための被写体に及んでもよい。]
[0049] ステップ３２０において、一応発見された１以上の被写体と所定の被写体間で一致が発見された場合、ステップ３３０において処理ユニット１５０は、撮像装置１００のメモリにメタデータとして、当該１以上の被写体を、座標を用いてマーキング、または線引きしてもよい。また、メタデータはデジタル画像ファイルに格納されてもよく、処理ユニットがメタデータを格納する１つの方法は、圧縮されたデジタル画像ファイルについてのＥＸＩＦ（Exchangeable Image File format）データとともに格納する方法であってもよい。しかしながら、メタデータを含んだ他のファイルフォーマットが用いられてもよい。]
[0050] 被写体の座標は、いくつか方法で定義されてもよい。例えば、正方形、矩形、三角形、円、楕円、または他の規則的形状または不規則形状等の、被写体の幾何学的形状をマーキングしてもよい。マーキング形状は、撮像装置１００のユーザによって定義または選択されてもよい。異なる形状は、異なるタイプの被写体に関連付けられてもよい。変換されたデジタル画像において発見された１以上の被写体をマーキングするためにマーキング形状を用いる場合、処理ユニット１５０はメタデータとしてマーキング形状の座標を格納することにより、デジタル画像ファイルにおける１以上の被写体の位置を保存することができる。この、識別された被写体のマーキングの利点は、変換されて処理されたデジタル画像の閲覧時に、当該被写体にフォーカスする、ズームする、パンする、及び他のアクションの実行することができるようになることである。また、被写体のマーキングを見せるように構成された適切な画像閲覧ソフトにより、当該被写体のマーキングは視認可能にされてもよい。]
[0051] その後、ステップ３４０において、処理ユニット１５０は、人の顔、建物、ボール、車、道路等の発見された被写体のタイプを、メタデータとして付加してもよい。同様にステップ３３０において、この付加されたメタデータは、変換された画像ファイルとは別に格納されても、画像ファイル自身に付加されてもよい。]
[0052] 例えば、デジタル画像において識別された１以上の被写体をマーキングする座標及び被写体タイプのメタデータがまとめて格納されてもよい。]
[0053] メタデータを用いて、画像閲覧ソフトやオンライン画像格納サービスは、変換された画像ファイルを検索可能にさせてもよい。従って、例えば、「車」または「教会」の検索は、「車」や「教会」、または同等物の被写体を含むデジタル画像を検索結果として提供してもよい。デジタル画像データのメタデータの索引及びソートは、当業者に既知であると思われるため、ここでは記載しない。]
[0054] しかしながら、例として、本発明に従って処理及び変換されたデジタル画像は、識別された被写体が幾何学的形状によりマーキングされた状態で示されるように提示されてもよいかもしれない。例えばそれらがクリックされた場合、マウスでクリックされた場所が被写体にズームしたり、クリックされた被写体が実質的にデジタル画像の中心となるように表示したりしてもよい。これは例えば表示画面よりも大きなデジタル画像を取り扱う際に便利かもしれない。]
[0055] しかしながら、ステップ３２０において処理ユニット１５０が、変換されたデジタル画像内の一応の被写体とメモリに記憶される所定の被写体との間で一致を発見しない場合、処理ユニット１５０は一応識別された被写体を単に破棄し、撮像装置１００のセンシングユニット１３０から新たな生の画像データを受信するために処理をステップ３００に戻す。]
[0056] 本発明は上述した実施形態に全く限定されないことを念のため述べておく。上述した実施形態は、本発明の根底をなす概念をよりよく理解するための単なる例示としての役目を果たすに過ぎない。それ故に、上述の記載を読んだ、本発明の技術分野に属する当業者は、本発明の範囲及び概念から逸脱しない範囲で実施しうる他の実施形態を想定するであろう。]

权利要求:

請求項1
撮像装置であって、光学情報を登録し、当該光学情報を、当該光学情報に係る明暗度情報を含んだ生の画像データに変換するセンシングユニットと、前記生の画像データをデジタル画像情報に変換し、当該変換されたデジタル画像情報内の１以上の被写体を識別し、当該識別された１以上の被写体に関する座標をメタデータとして格納する処理ユニットと、を備えることを特徴とする撮像装置。
請求項2
前記変換されたデジタル画像情報と前記識別された１以上の被写体に関する座標を表す前記メタデータとを格納するメモリをさらに備えることを特徴とする請求項１に記載の撮像装置。
請求項3
前記処理ユニットは、前記変換されたデジタル画像情報の少なくとも一部と、既知の被写体の所定のセットとを比較することにより、前記変換されたデジタル画像情報内の１以上の被写体を識別するように構成されることを特徴とする請求項１に記載の撮像装置。
請求項4
前記処理ユニットは、前記メタデータを前記デジタル画像情報とは別に格納するように構成されることを特徴とする請求項１に記載の撮像装置。
請求項5
前記処理ユニットは、前記メタデータを前記デジタル画像情報とともに格納するように構成されることを特徴とする請求項１に記載の撮像装置。
請求項6
前記処理ユニットは、前記デジタル画像情報内の前記識別された１以上の被写体を、１以上の幾何学的形状を用いて囲うように構成されることを特徴とする請求項１に記載の撮像装置。
請求項7
前記識別された１以上の被写体に関する座標は、前記デジタル画像情報の幾何学的形状の座標を含むことを特徴とする請求項１に記載の撮像装置。
請求項8
前記メタデータは、前記デジタル画像情報内の前記識別された１以上の被写体を囲う１以上の幾何学的形状の座標と、前記デジタル画像情報内の識別された被写体のタイプと、を含むことを特徴とする請求項１に記載の撮像装置。
請求項9
前記デジタル画像情報内の前記識別された１以上の被写体を囲う幾何学的形状を定義するためのユーザインタフェースをさらに備えることを特徴とする請求項１に記載の撮像装置。
請求項10
前記センシングユニットは、ＣＭＯＳ（相補型金属酸化物半導体）センサ、ＣＣＤ（電化結合素子）センサ、またはＣＩＤセンサ（コンタクトイメージセンサ）を備えることを特徴とする請求項１に記載の撮像装置。
請求項11
前記メモリは、内部メモリ及び外部メモリの少なくともいずれかを備えることを特徴とする請求項２に記載の撮像装置。
請求項12
前記処理ユニットは、前記メタデータ及び前記デジタル画像情報を外部メモリに記憶する前に、内部メモリに前記デジタル画像情報を格納するように構成されていることを特徴とする請求項１に記載の撮像装置。
請求項13
前記処理ユニットは、前記デジタル画像情報内の前記１以上の被写体の識別の前に、前記デジタル画像情報を圧縮するように構成されていることを特徴とする請求項１に記載の撮像装置。
請求項14
前記メタデータ及び前記デジタル画像情報を、無線通信ネットワーク上の端末またはノードに転送するように構成された送受信機をさらに備えることを特徴とする請求項１に記載の撮像装置。
請求項15
画像の撮像及び処理の方法であって、光学情報を登録する工程と、前記光学情報を、当該光学情報に係る明暗度情報を含んだ生の画像データに変換する工程と、前記生の画像データをデジタル画像情報に変換する工程と、前記デジタル画像情報内の１以上の被写体を識別する工程と、前記１以上の識別された被写体に関する座標をメタデータとして格納する工程と、を備えることを特徴とする方法。
請求項16
前記デジタル画像情報内の前記１以上の被写体を識別する工程は、次の光学情報がセンシングユニットにより登録される間に実行されることを特徴とする請求項１５に記載の方法。
請求項17
前記デジタル画像情報内の前記１以上の被写体を識別する工程は、光学情報が登録中でない場合に実行されることを特徴とする請求項１５に記載の方法。